Họ Vũ Văn vốn người Nam Hung Nô, sau dời đến Liêu Đông, đứng đầu 12 bộ lạc, đa số là Tiên Ti. Đến đời Vũ Văn Hầu Quy Đậu, bị Mộ Dung Hoảng nhà Tiền Yên tấn công chinh phạt. Hầu Quy Đậu chạy sang Cao Ly, con là Lăng Sĩ Yến hàng Mộ Dung Hoảng.

Về sau, Mộ Dung Bảo nhà Bắc Yên bị diệt, bèn hàng Thác Bạt Khuê, tức Đạo Vũ đế nhà Bắc Ngụy. Nhà Ngụy lập 6 tiền đồn (lục trấn) phòng cự người Nhuyễn Nhuyễn ở phía bắc, họ Vũ Văn bị dời đến Vũ Xuyên Trấn, thuộc Đại Quận.

Sau khi nhà Bắc Ngụy dời đô từ Bình Thành, Đại Quận đến Lạc Dương, mâu thuẫn giữa giới quý tộc Bắc Ngụy và người Lục trấn mỗi ngày sâu hơn. Đến đời Hiếu Minh đế, người Ô Dã trấn là Phá Lục Hàn Bạt Lăng khởi loạn, và dần lan ra các trấn khác.

Bộ hạ Bạt Lăng là Vệ Khả Côi vây trấn Hoài Sóc, Hạ Bạt Độ Bạt (賀拔度拔) cùng cha Thái là Vũ Văn Quăng vốn giữ chức nhỏ về quân sự ở trấn, tổ chức hào kiệt trong trấn đi giải vây cho Hoài Sóc, giết được Vệ Khả Côi. Đây là đầu mối mối quan hệ giữa Vũ Văn Thái và Hạ Bạt Nhạc, con Độ Bạt.

Sau, Vũ Xuyên mất, Vũ Văn Quăng cùng các con theo về với Tiên Vu Tu Lễ, là một trong số các thủ lĩnh nổi dậy. Quăng chết trận. Về sau, bộ hạ Tu Lễ là Cát Vinh giết Tu Lễ tự lên thay, cho Vũ Văn Thái, khi ấy mới 18 tuổi, làm tướng.

Đến khi Cát Vinh bị Nhĩ Chu Vinh diệt, anh em Thái lại theo Nhĩ Chu Vinh. Vinh không tin anh em họ Vũ Văn, giết anh Thái là Lạc Sinh. Thái phải van xin mới được tha mạng.

Đến đời Hiếu Trang đế, Vinh sai cháu là Nhĩ Chu Thiên Quang làm chánh tướng cùng Hạ Bạt Nhạc và Hầu Mạc Trần Duyệt bình định Quan Trung (Cam Túc, Thiểm Tây), khi ấy có Mặc Kỷ Xú Nô và một số phiến quân khác cát cứ. Thái đi theo, làm thuộc tướng dưới trướng Hạ Bạt Nhạc. Diệt được các phiến quân như Mặc Kỷ Xú Nô, Vương Khánh Vân - vùng Quan Lũng nhờ vậy tạm yên ổn.

Sau khi Vinh chết, em họ Vinh là Nhĩ Chu Thế Long, vốn cầm quyền ở Lạc Dương gọi Thiên Quang về cùng đối phó với Cao Hoan. Liên quân Nhĩ Chu thua trận tại Hàn Lăng, Thiên Quang bị phe trung thành với vua Ngụy ở Lạc Dương đứng đầu có Hộc Tư Xuân và anh Nhạc là Hạ Bạt Thắng bắt, giao cho Cao Hoan, sau bị chém đầu. Nhạc âm mưu cùng Thái, thông đồng với Duyệt, chạy đến Trường An tự thế vào quyền vị của Thiên Quang.

Hiếu Vũ đế, do có Hộc Tư Xuân bày mưu, muốn mượn Nhạc làm vây cánh đối phó với Cao Hoan, khi ấy làm chủ khắp các châu quận bắc sông Hoàng Hà, nên phong Nhạc chức lớn, đi lại mật thiết. Cao Hoan gởi mật thư cho Hầu Mạc Trần Duyệt, bảo giết Hạ Bạt Nhạc.

Năm 534, Nhạc tụ quân đánh Thứ sử Linh Châu là Tào Nê, sai Duyệt dẫn bộ khúc làm tiên phong. Duyệt nhân dịp Nhạc đến bàn việc quân, giết Nhạc. Tướng sĩ vùng Quan Trung mất đầu, hoảng loạn. Duyệt ban đầu muốn tự lên thay, nhưng sợ, bất quyết, bèn dẫn bản bộ chạy về giữ Tần Châu. Tướng sĩ vùng Quan Tây ban đầu tôn Đô đốc Khấu Lạc, vốn lớn tuổi nhất, lên thay Nhạc, nhưng Lạc ít uy nên tự xin lui. Đô đốc Triệu Quý đề nghị mời Vũ Văn Thái, khi ấy là Thứ sử Hạ Châu làm chủ tướng thay Nhạc.

Cao Hoan khi ấy biết tin, sai Hầu Cảnh đến thống lĩnh binh tướng vùng Quan Tây. Cảnh đến không kịp, lại bị Thái dằn mặt, đành trở về.

Việc đầu tiên Thái làm là đánh Hầu Mạc Trần Duyệt, Duyệt bỏ thành lui dựa núi rừng hiểm trở cự thủ, tướng dưới trướng Duyệt là Lý Bật muốn hàng Thái, gian mưu làm thế lực Duyệt tan rã, Duyệt bỏ trốn, sau bị giết.

Hiếu Vũ đế muốn dùng Thái làm vây cánh cự Cao Hoan, ban Thái làm Quan Tây Đại hành đài, Đại đô đốc. Hiếu Vũ đế mộ quân phao tin để đánh nhà Lương của Tiêu Diễn ở phía nam, nhưng thực chất muốn diệt Cao Hoan phía bắc. Cao Hoan bèn dẫn quân tiến đến Lạc Dương. Hiếu Vũ đế biết mình không địch nỗi, cứu quân không đến kịp, bèn cùng Hộc Tư Xuân, Vương Tư Chính chạy đến Trường An. Cao Hoan lập Tĩnh đế lên thay, từ đó phân chia ra Đông Ngụy và Tây Ngụy.